Cas discret

Divergence de Kullback-Leibler \(D_{KL}(p\parallel q)\)
Quantité définie par : $$D_{KL}(p\parallel q)=\sum_{x\in\mathcal X}p_X(x)\log_2\left(\frac{p_X(x)}{q_{X^\prime}(x)}\right)\quad\text{ avec }\quad\begin{cases} p_X(x)={\Bbb P}(X=x)\\ q_{X^\prime}(x)={\Bbb P}(X^\prime=x)\end{cases}$$

• permet de mesurer la dissimilarité entre deux sources \(X\) et \(X^\prime\) à valeur dans le même alphabet
• inégalité de Gibbs : \(D_{KL}(p\parallel q)\geqslant0\)
• on a \(D_{KL}(p\parallel q)=0\) \(\iff\) \(\forall x\in\mathcal X,p_X(x)=q_{X^\prime}(x)\)

Questions de cours

Démontrer l'inégalité de Gibbs.

On dérive deux fois \(-\log_2\) pour montrer qu'elle est strictement convexe.

On utilise ensuite l'Inégalité de Jensen pour conclure.

Le cas d'égalité se fait assez rapidement étant donné que \(p_X\) et \(q_{X^\prime}\) sont deux distributions de probabilité.

Cas continu

Divergence de Kullback-Leibler Quantité définie par : $$K(\mu,\nu):=\begin{cases}\displaystyle\int\log\left(\frac{d\mu}{d\nu}\right)\,d\mu&\text{si}\quad \mu\ll\nu\\ +\infty&\text{sinon.}&\end{cases}$$avec \(\frac{d\mu}{d\nu}\) la Dérivée de Radon-Nikodym.

• si \(E=[\![1,k]\!]\) et \(\mathcal E={\mathcal P}(E)\), alors \(K(\mu,\nu)=\) \(\sum_{i=1}^k\mu_i\log\frac{\mu_i}{\nu_i}\)
• \(K(\mu,\nu)\geqslant\) \(0\), et on a égalité si et seulement si \(\mu=\nu\)